Міністерство освіти і науки України Національний університет “Львівська політехніка” РЕГРЕСІЙНИЙ АНАЛІЗ МЕТОДИЧНІ ВКАЗІВКИ з курсу “Математичні методи оптимального планування” для студентів спеціальностей 8.080202 “Прикладна математика” 7.080204 та 8.080204 “Соціальна інформатика” Затверджено на засіданні кафедри прикладної математики Протокол № 3 від 15 жовтня 2009р. Львів – 2009 Регресійний аналіз: Методичні вказівки з курсу “Математичні методи оптимального планування” для студентів спеціальностей 8.080202 “Прикладна математика”, 7.080204 та 8.080204 “Соціальна інформатика” / Укл.: І.П. Мединський, І.М. Задворняк. – Львів: Видавництво Національного університету “Львівська політехніка”, стор. 26. Укладачі Мединський І.П., канд. фіз.-мат. наук, доц., Задворняк І.М.,ас.  Відповідальні за випуск Строчик М.М., канд. фіз.-мат. наук, доц.  Рецензент Каленюк П.І., д-р фіз.-мат. наук, проф.    1. Знаходження МНК-оцінок Нехай задано набір
кількісних величин
і
результатів вимірів, які об’єднанні в матрицю емпіричних даних
, де
– вектор результатів вимірів, а
– матриця плану експерименту. Розглянемо задачу побудови функції
, яка б проходила через всі задані точки
. Якщо вимагати, щоб функція
проходила через дві точки, то одержимо задачу побудови прямої лінії. В загальному випадку, тільки поліном високого порядку може пройти через усі точки, але на практиці потрібно відшукати відносно просту функцію (лінійну), яка із задовільною точністю апроксимує статистичну залежність. У загальній постановці задача опису емпіричної залежності за допомогою параметричної функції регресії полягає в тому, що задається функція, що визначена з точністю до кількох параметрів, які підбирають таким чином, щоб одержана функція з максимальною точністю відповідала емпіричним даним. Цю функцію
називають емпіричною регресією. Після вибору типу функції
необхідно знайти такі значення параметрів
, за яких функція регресії буде досить добре, а можливо, і найкращим чином описувати емпіричні дані. Для розв’язування цієї задачі необхідно задати критерій, який би визначав ступінь відповідності емпіричних даних і регресійної залежності. Тобто необхідно враховувати відхилення між вимірами
і значеннями функції регресії
,
. Якщо позначити відхилення
,
, то
, (1) де
– точне значення випадкової величини, а
– наближене значення випадкової величини,
– вектор похибок,
– вектор параметрів,
– сукупність точок, в яких проводяться спостереження. Формули (1) можна подати в матричній формі:
. (2) Рівність (2) визначає вигляд функції регресії, а також те, яким чином входять похибки у модель спостережень. Природно вважати, що вектор
розподілений за нормальним законом із параметрами
, тобто
, а
. Для лінійної регресійної моделі використовуватимемо позначення
. У випадку, коли компоненти вектора
є некорельованими і мають однакову дисперсію
, модель має вигляд
і називається класичною лінійною регресійною моделлю. Тут
– одинична матриця порядку
. Використовуватимемо позначення
для тих точок

, в яких функція

набуває найменшого значення (якщо воно існує). Вектор
(3) називається емпіричною оцінкою невідомих параметрів
, отриманих за методом найменших квадратів або МНК-оцінкою. Термін емпірична МНК-оцінка підкреслює, що процедура знаходження МНК-оцінок для лінійної регресійної моделі, взагалі кажучи, не потребує додаткових припущень на вектор
. Важливим є те, що для лінійної регресійної моделі МНК-оцінка
є розв’язком лінійної системи рівнянь. Лема 1. Вектор
є розв’язком системи рівнянь
. (4) Д о в е д е н н я. Розглянемо функцію
. Ця функція визначена на
і невід’ємна, а тому вона досягає мінімуму. Знайдемо мінімум функці...